#encoding=utf-8
from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
import jieba
'''
tf:term frequency: 词的频率
idf: 逆文档频率 inverse document frequency 出现的次数 log(总文档数量/该词出现的文档数量)

tf*idf  重要性程度

朴素贝叶斯: log(数值)输入的数值越小，结果越小


'''

def cutword():
    con1 = jieba.cut("今天很残酷， 明天更残酷，后台很美好, 但绝对大部分是死在明天晚上，所以每个人不要放弃今天")
    con2 = jieba.cut("我们看到的从很远星系来的光实在几百万年之前发出的这样当我们看到宇宙时我们实在看它的过去。")
    con3 = jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我结合起来我才能真正了解它")

    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)

    c1 = ' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)

    return c1,c2,c3

def tfidfvect():
    c1,c2,c3 = cutword()

    tf = TfidfVectorizer()
    data = tf.fit_transform([c1,c2,c3])
    print(tf.get_feature_names())
    print(data.toarray())
    return None

if __name__ == "__main__":
    tfidfvect()